Tháng 2 và tháng 4 năm Nguyên Sóc thứ 6 (123 TCN), Đại tướng quân Vệ Thanh 2 lần tiến đánh Hung Nô, Trương Khiên làm Hiệu úy, tòng quân chinh chiến ở Mạc Bắc. Ông phát huy những hiểu biết về đặc điểm của quân đội Hung Nô và địa hình sa mạc, góp phần to lớn vào thắng lợi, nhờ công được phong Bác Vọng hầu [20].

Năm Nguyên Thú thứ 2 (121 TCN), Trương Khiên theo Lý Quảng ra Hữu Bắc Bình [21] tiến đánh Hung Nô. Lý Quảng soái 4000 kỵ binh đi trước, ông soái 1 vạn kỵ binh theo sau. Quảng liều lĩnh tiến quân, rơi vào vòng vây của Hung Nô, khi ông đến thì quân Hung Nô bèn giải vây mà đi. Trận này tuy Quảng tác chiến dũng mãnh, nhưng bộ đội của ông ta tổn thương gần sạch, luận tội, Trương Khiên đáng phải chết, nhưng dùng hầu tước để chuộc, cuối cùng bị biếm làm thứ dân.